81a9b072fb682a9ae665c73173e56235785e984d
LM 1
- challenge
- Evaluation of translation quality assessment metrics (blind)
- submitter
- Krzysztof Wróbel
- submitted
- 2021-08-26 14:47:40.989335 UTC
- file basename
- out
test-B / 421f71bbe9da180e21631d5a0c7f1ef05550e077
| Metric | Score |
|---|---|
| Pearson | 0.3031 |
test-A / 1598114fc3c1c4b014d1ca0b720928cc6368b03b
| Metric | Score |
|---|---|
| Pearson | 0.4651 |
worst items
note: the gold standard is taken from the challenge| # | input | expected output | actual output | dev-0 Pearson |
|---|---|---|---|---|
| 1 | Mamy globalne obchody i faktycznie zaczęliśmy wiedzieć, że widzieliśmy najgorsze z nich. | 3.916666667 | -79.11809539794922 15 -79.11809539794922 4.3596111030842273e-35 195.30055764361668 4.3596111030842273e-35 | NaN |
| 2 | I to jest ten materiał pośrodku, który jest tym, co robisz, jeśli nie zatrzymujesz emisji wystarczająco szybko. | 4.333333333 | -80.77911376953125 23 -80.77911376953125 8.280882776673345e-36 33.519768902857884 8.280882776673345e-36 | NaN |
| 3 | Po prostu zatonęło pod powierzchnią. Nie pozwolono nam o tym mówić. | 4.166666667 | -88.98535919189453 17 -88.98535919189453 2.2602138549087523e-39 187.62267415623225 2.2602138549087523e-39 | NaN |
| 4 | Więc teraz są w tym razem. | 4.5 | -24.931537628173828 7 -24.931537628173828 1.4872048145732637e-11 35.22120206249604 1.4872048145732637e-11 | NaN |
| 5 | Cóż, wiesz, że ta druga grupa się mylisz. | 3.166666667 | -51.01537322998047 12 -51.01537322998047 6.987227984724292e-23 70.19528211949847 6.987227984724292e-23 | NaN |
| 6 | I to jest jeden z podstawowych powodów, dla których tak trudno jest mówić o tym problemie i ogólnie myślę, że jest to podstawowy powód, dla … | 4.25 | -29.853445053100586 38 -29.853445053100586 1.083461659760708e-13 2.1937600185490886 1.083461659760708e-13 | NaN |
| 7 | Wśród nich znalazłem jedną część, która faktycznie przypominała zarys Stanów Zjednoczonych Ameryki, który możesz tu zobaczyć. | 3.75 | -58.76072692871094 20 -58.76072692871094 3.023712826827015e-26 18.878738588500088 3.023712826827015e-26 | NaN |
| 8 | To oznaczało, że była nietrzymała moczu, nie mogła kontrolować swoich odchodów. | 3.5 | -70.75714874267578 17 -70.75714874267578 1.8644929512764744e-31 64.21168607088272 1.8644929512764744e-31 | NaN |
| 9 | Tamtejsi lekarze i pielęgniarki zauważyli, że nie tylko przeżyła, ale była naprawdę sprytna i zrobili z niej pielęgniarkę. | 4.5 | -97.79878234863281 25 -97.79878234863281 3.361464190750415e-43 49.99641455441868 3.361464190750415e-43 | NaN |
| 10 | Pomyślałem, że to dziecko jest zabawką, stąd tytuł mojego wykładu i zastanawiałem się, czy możesz użyć tej samej fizyki, która sprawia, że … | 2.666666667 | -198.98397827148438 56 -198.98397827148438 3.8225770630515442e-87 34.92787867671709 3.8225770630515442e-87 | NaN |
| 11 | Chodzi mi o to, że świat zmienił się nieproporcjonalnie do tego, co rozpoznalibyśmy nawet 1000 lub 2000 lat temu. | 3.75 | -61.21217346191406 24 -61.21217346191406 2.6054985762458587e-27 12.813601546701602 2.6054985762458587e-27 | NaN |
| 12 | Czy komórki będą to tolerować Czy system odpornościowy zareaguje. | 4.083333333 | -90.7685775756836 13 -90.7685775756836 3.799335352047082e-40 1077.2839323545438 3.799335352047082e-40 | NaN |
| 13 | Dwie inne osoby, które znasz, są bardzo dobre w wykonywaniu drewnianych trzonów, ale groty do strzał są beznadziejne. | 3.583333333 | -112.87673950195312 25 -112.87673950195312 9.511628928524874e-50 91.38392430177316 9.511628928524874e-50 | NaN |
| 14 | A wszystko to z powodu kumulatywnej adaptacji kulturowej. | 4.083333333 | -58.2647819519043 11 -58.2647819519043 4.965085242054978e-26 199.69642916472432 4.965085242054978e-26 | NaN |
| 15 | Google tworzy Google Zeitgeist, który sprawdza zapytania wyszukiwania, aby sprawdzić, co się dzieje, czym ludzie są zainteresowani, i publik… | 4.333333333 | -216.59446716308594 39 -216.59446716308594 8.59445021703861e-95 258.1922044969175 8.59445021703861e-95 | NaN |
| 16 | Aby to zrobić, mózg nie odczuwa bólu, który można zadać, wykorzystując cały wysiłek włożony w Internet i komunikację, i tak dalej, na światł… | 3.666666667 | -322.1463623046875 65 -322.1463623046875 1.2405448949157203e-140 142.0384622173338 1.2405448949157203e-140 | NaN |
| 17 | Dimitri Cóż, to wspaniały dom Milo. | 4.416666667 | -102.34270477294922 12 -102.34270477294922 3.573781974943349e-45 5057.151863985769 3.573781974943349e-45 | NaN |
| 18 | Myślę, że dzięki temu moje operacje będą miały lepszy wynik i mniej powikłań. | 4.583333333 | -27.741424560546875 16 -27.741424560546875 8.95472788732294e-13 5.662350196155814 8.95472788732294e-13 | NaN |
| 19 | Ta mała lista uległaby zmianie. | 4.5 | -35.80908203125 7 -35.80908203125 2.8074580254494184e-16 166.59790378346293 2.8074580254494184e-16 | NaN |
| 20 | Tak więc najbardziej zdumiewającą rzeczą w tym i zakończę na tej notatce jest to, że najbardziej pojawiające się systemy, większość samoorga… | 3.416666667 | -204.85110473632812 65 -204.85110473632812 1.0821702766114869e-89 23.37239108203469 1.0821702766114869e-89 | NaN |
| 21 | Teraz ta technologia obejmuje trzy duże elementy. | 4.666666667 | -30.229103088378906 8 -30.229103088378906 7.441617369087032e-14 43.75639992247092 7.441617369087032e-14 | NaN |
| 22 | A odpowiedź brzmi, że te wariacje są absolutnie niewiarygodne. | 4.166666667 | -45.041500091552734 13 -45.041500091552734 2.746155046234661e-20 31.96785211020887 2.746155046234661e-20 | NaN |
| 23 | Niestety, nawet wtedy nie jest możliwe podsumowanie każdego TEDTalk indywidualnie. | 2.833333333 | -90.55520629882812 15 -90.55520629882812 4.702985034940442e-40 418.64100104950427 4.702985034940442e-40 | NaN |
| 24 | A teraz weź to razem, a otrzymasz 23 miliony słów TEDTalks, czyli około trzech Biblii. | 3.583333333 | -137.097412109375 23 -137.097412109375 2.879721160724641e-60 387.9036748996851 2.879721160724641e-60 | NaN |
| 25 | Więc wymyśliliśmy kilka nowych rzeczy. Mamy moskitiery do łóżek. | 4.583333333 | -97.21212005615234 15 -97.21212005615234 6.0438361988264e-43 652.4979541198908 6.0438361988264e-43 | NaN |
| 26 | To po części powód, dla którego tu jesteśmy, po części powód, dla którego odnieśliśmy sukces. | 4.083333333 | -18.764644622802734 20 -18.764644622802734 7.089545358398873e-09 2.5554599605197446 7.089545358398873e-09 | NaN |
| 27 | W rezultacie masz dwie możliwości. | 4.75 | -14.393693923950195 6 -14.393693923950195 5.60916421419091e-07 11.011596968667435 5.60916421419091e-07 | NaN |
| 28 | Roboty Davida Hansona, które okazują emocje. | 4.5 | -56.36574935913086 9 -56.36574935913086 3.316393726903858e-25 524.7180338347898 3.316393726903858e-25 | NaN |
| 29 | Więc teraz mogłem uporządkować zdjęcia, które chciałem uporządkować od dawna. | 4.583333333 | -37.78720474243164 12 -37.78720474243164 3.8835195324602194e-17 23.311195262275945 3.8835195324602194e-17 | NaN |
| 30 | Cóż, jaka jest historia tej choroby. | 4.833333333 | -25.279884338378906 8 -25.279884338378906 1.0497496262611755e-11 23.570255154864622 1.0497496262611755e-11 | NaN |
| 31 | Niestety jest anonimowy. Jego imię nie jest wymienione. | 4.833333333 | -40.81242370605469 11 -40.81242370605469 1.8853396075671462e-18 40.86280912041354 1.8853396075671462e-18 | NaN |
| 32 | Mogę tu pokazać bardzo dobry przykład. | 5 | -13.227659225463867 7 -13.227659225463867 1.8001164054407079e-06 6.617155558286106 1.8001164054407079e-06 | NaN |
| 33 | Jeśli zostanie trafiony, nie przechodź przez ulicę. | 4 | -54.75922393798828 11 -54.75922393798828 1.6533744056196326e-24 145.19987871436695 1.6533744056196326e-24 | NaN |
| 34 | Ale myślę, że z punktu widzenia neandertalczyka byłoby wiele dezaprobaty dla mięczaków, które mamy teraz. | 4.166666667 | -187.8214569091797 26 -187.8214569091797 2.692636207013807e-82 1371.831776399432 2.692636207013807e-82 | NaN |
| 35 | Powiedziała, że to duża przeszkoda tylko po to, aby rolnicy dotykali pod sromem. | 3.833333333 | -121.49856567382812 20 -121.49856567382812 1.713339268428509e-53 434.8183178334524 1.713339268428509e-53 | NaN |
| 36 | Masters i Johnson byli sceptykami do dupy, co też jest naprawdę zabawne. | 3.833333333 | -117.49714660644531 18 -117.49714660644531 9.36779955457677e-52 683.7683946112494 9.36779955457677e-52 | NaN |
| 37 | A więc porządkowanie sztuki, mam na myśli, muszę powiedzieć, że jest to stosunkowo nowy termin. | 4.333333333 | -52.92320251464844 20 -52.92320251464844 1.0369198377795217e-23 14.099793131228576 1.0369198377795217e-23 | NaN |
| 38 | To była taka piękna maszyna, ponieważ robiła wszystko, co robił człowiek przy ustawianiu czcionek, łącznie z przywracaniem czcionki na jej m… | 4.25 | -164.8443603515625 36 -164.8443603515625 2.5645072220566006e-72 97.41790367929883 2.5645072220566006e-72 | NaN |
| 39 | Teraz, zgodnie z dzisiejszym dniem, jest temat, na który chciałbym zwrócić uwagę i coś, co już wiesz, że czasami niewielka przewaga w jakimś… | 4 | -76.02020263671875 39 -76.02020263671875 9.657072274166428e-34 7.023319468557172 9.657072274166428e-34 | NaN |
| 40 | Poproszę twojego listonosza, który przygotuje plany kolacji. | 3.583333333 | -70.65486145019531 11 -70.65486145019531 2.0653019378897363e-31 615.9521135356791 2.0653019378897363e-31 | NaN |
dev-0 / 3b0c953f27e84089616a8f770371ee25a1ecf040
| Metric | Score |
|---|---|
| Pearson | 0.4492 |